Experience Funnel: A State-Policy Alternating Loop for Self-Evolving Agents
Experience Funnel：自进化智能体的状态-策略交替循环
🧭 自进化 Agent 状态-策略交替蒸馏 ★ 深度解读
The Hong Kong Polytechnic University · Huawei · Renmin University of China
用状态-策略交替循环把显式经验渐进蒸馏进参数策略，同时保留快速可编辑状态
📌 工作参考价值（4 点）
- 把线上 Agent 的 prompt/skill 显式状态与模型参数策略拆成两层：先用 held-out 验证门控快速更新 skill，再离线周期把反复有用的 skill 蒸馏进小模型，降低线上 context 长度和推理成本。
- 用三态对比（state-free / previous-state / updated-state）挑选要固化的样本，只保留 newly useful 和 persistently useful 轨迹，避免把噪声或模型已会的行为蒸馏进参数；电商导购/客服 Agent 可用点击、转化等 reward 做类似增量过滤。
- 做 token-level 归因蒸馏：用有状态/无状态两路概率的 JSD 定位真正被 skill 改变的 token，只给这些位置更高权重，比整条轨迹均匀蒸馏更数据高效，适合把大模型教师或 prompt 增益迁移到在线小模型。
- 固化后的策略仍需保留少量 residual state 才能拿到最大值，说明显式信息不能一次性全部内化；实践中应保留轻量 state/skill，待下一轮验证后再决定淘汰或更新。